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У роботі проаналізовані існуючі на сьогоднішній день механізми обробки природномовних 
текстів, що базуються на нейромережевих технологіях з метою впровадження їх в адаптивних 
системах навчання. Досліджені питання диференційованої оцінки відповідей природною мовою. 
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Кеууогадз: адаріуе Іеагпіпеє, паша! Іапоцаєе ргосез5іпє, пешга! пеімогк5. 


Вступ 

Інформатизація освіти в Україні - один із найважливіших механізмів, що 
зачіпає основні напрямки модернізації освітньої системи. Освітні навчальні заклади 
з традиційною системою навчання вже не в змозі задовольнити попит населення на 
якісні знання, забезпечити можливість «навчатись упродовж усього життя». 
Суспільство починає сприймати й оцінювати опітпе-освіту передусім як доступний і 
зручний формат отримання особистісно 1 професійно значущої інформації. 

Впровадження у навчальний процес елементів опіпе-освіти та принципів 
адаптивного навчання вимагає змін в існуючих системах контролю знань - їх 
автоматизації та інтелектуалізації. Застосування інтелектуальних розробок для 
навчання і викладання набуває свого власного дослідницького напрямку із 
відповідними специфічними для цієї галузі проблемами |8, 9, 10). 

Постановка проблеми 

Актуальним з точки зору особистісно ( персонально ) орієнтованого навчання є 
поняття адаптивного навчання, індивідуальної навчальної траєкторії. Домінантою 
тут виступає особиста продуктивна діяльність того, хто навчається. 

Адаптивне навчання визначається аналітиками освіти і як концепція, і як 
інструмент та передбачає можливість надання студенту інструментів навчання, 
призначених особисто йому, вибору обсягу отриманих знань та індивідуальної 
траєкторії навчання. 
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Існує декілька підходів до вирішення задачі адаптивного навчання, і, як 
результат, декілька класів систем (21: 

Перший принцип - це адаптивна навігація. Йому відповідає клас систем 
«пасивної адаптивності». Активна роль  делегується  слухачу: на основі 
рекомендованого набору параметрів особа, що навчається, виходячи з власних 
інтересів, сама планує траєкторію свого просування в навчальному матеріалі, 
терміни вивчення того чи іншого контенту. 

Другий принцип - це адаптивне подання матеріалу. Це, так звані, системи 
«активної адаптивності». Сама система, на підставі вже пройденого слухачем 
навчального матеріалу і на основі Його відповідей на тестові питання, визначає 
траєкторію його подальшого навчання. 

Третій принцип - це розумна (япагі) адаптивність. Система, що забезпечує 
«розумну адаптивність» створює і постійно коригує повну психологічну картину 
того, хто навчається, картину його переваг і траєкторію просування в освоєнні 
контенту. У таких системах використовуються методи програмування на основі 
використання аналітики великих даних. 

Необхідно зауважити, що в основі будь-якої адаптивності лежать механізми 
управління процесами контролю знань слухачів, саме вони багато в чому 
визначають можливості і обмеження автоматизованих навчальних систем, 
ефективність їх функціонування. 

Сьогодні в автоматизованих навчальних системах широкого використання 
набули автоматизовані засоби оцінювання знань, зокрема автоматизовані системи 
тестування. Практично всі системи автоматизованого контролю знань оперують 
завданнями в тестовій формі (питаннями) закритого типу (типу «вибір одного з 
декількох», «вибір декількох з декількох», «відповідність», «послідовність або 
впорядкування») і відкритого типу (вільне володіння введення відповіді). Питання 
закритого типу відрізняються простотою своєї програмної реалізації. Але суттєвим 
недоліком такого підходу є неможливість врахувати неповні, або не зовсім точні 
відповіді слухача. Питання відкритого типу характерні тим, що для отримання 
відповіді на нього слухач повинен ввести символьний рядок, що представляє власну 
відповідь. Як правило, такі відповіді вводяться на природній для людини мові, 
максимально наближеній до розмовної. Як правило, тягар перевірки завдань 
відкритого типу лягає на плечі викладача. Більшість сучасних систем тестування в 
основному грунтуються на завданнях закритого типу, автоматична перевірка завдань 
відкритого типу зводиться до перевірки повного збігу з одним із можливих 
еталонних варіантів відповіді. 

Адекватна автоматична перевірка природномовних відповідей є важким 
завданням. Шаблони відповідей у вигляді стандартних виразів не в змозі взяти до 
уваги різноманіття, властиве рідній мові. Крім того, потрібне автоматичне виявлення 
випадкових помилок (наприклад, друкарських помилок), і помилок правопису. 

Тому актуальним є завдання створення/розвиток інтелектуальних механізмів, 
які б дозволили вирішити задачу якісної автоматизованої обробки природномовних 
текстових відповідей, і можуть бути покладені в основу інтелектуальних систем 
оцінювання знань. 

Аналіз останніх досліджень і публікацій 

Проблемам діагностики та оцінювання знань засобами новітніх інформаційних 
технологій присвячені дослідження широкого кола вітчизняних та закордонних 
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науковців (І.Є. Булах, Н.А. Яремчук, Ю.В. Нехаєнко, П.С. Ухань, А.Л. Симонова, 
Т.В. Солодка, В.В. Хубулашвілі, П. Клайн та ін.). 

Розв'язання проблеми якісної автоматизованої обробки природної мови в 
рамках автоматизованих систем оцінювання знань на перший план висуває 
семантичну складову аналізу, екстракцію знань із текстової відповіді. Це вимагає 
залучення цілої низки наукових дисциплін та їхніх методів, зокрема, методів 
комп'ютерної, когнітивної, математичної лінгвістики, теорії штучного інтелекту, 
семантичних мереж, нейрокібернетики, логіки тощо. Розробка та використання 
інтелектуальних автоматизованих систем оцінювання знань є предметом численних 
обговорень та досліджень вітчизняних та закордонних науковців та фахівців 
(Г.М. Шидло, В.С. Аванесова, Д.В. Ланде, О.Є. Литвиненка, А.Ф. Манако, 
О.О. Марченко, І.А. Метешкина, І.Д. Рудинського, В.Є. Ходакова, С.В. Штангей, 
5. Деегууезіег, С. Кигпаз8, Т. Гапдацег, В. Наг5птап, І. 5іїгесіег, ). Вегп5іїсіп, Р. Кої7, 
Ю. реї апа та ін.) |4). 

Однією із гілок сучасного розвитку інтелектуальних систем контролю знань є 
використання онтолого-орієнтованих методів аналізу природномовних текстів для 
оцінювання відповідей на відкриті питання. Застосування онтологічного підходу для 
автоматичної обробки текстів на природній мові передбачає порівняння понять 
онтології предметної області 1 мовних виразів, якими поняття можуть бути виражені 
в текстових відповідях | 31. 

Алгоритми онтологічного семантичного аналізу широко застосовують 
лінгвістичні бази знань у поєднанні із процедурами  токенізації, лексико- 
морфологічного (бази знань морфології природної мови, словникові таблиці лексем 
частин мови), синтаксичного (бази знань синтаксису, таблиці граматик, «банки 
дерев») та семантичного аналізу (онтологічні бази знань предметної галузі). 
Результатом роботи таких систем є отримання семантичної структури тексту, що 
складається із семантичних графів окремих текстів. 

Інший напрям аналізу семантики природномовних текстів - це латентно- 
семантичний аналіз, що реалізує екстракцію і представлення контекстно-залежного 
змісту слів шляхом статистичної обробки великого корпусу текстів. Суть методу 
полягає в тому, що сукупність усіх контекстів, у яких певне слово вживається або, 
навпаки, не вживається, обумовлює набір обмежень, які визначають подібність значень 
слів або множини слів. Латентно-семантичний аналіз базується на використанні 
частотного та ймовірнісного аналізу для обробки текстів або текстових корпусів з 
метою побудови матриць спільного вживання слів, що можуть інтерпретуватися як 
певні семантичні мережі у матричному вигляді, і дозволяє визначити асоціативну та 
семантичну близькість і вирахувати кореляції між двома текстами. 

Ще одним відгалуженням у вирішенні задачі аналізу природномовних текстів є 
використання  нейромережевих технологій. Заслуговують на увагу роботи 
А.А. Міцеля, А.А. Погуди, що пропонують для проведення семантичного аналізу 
відповіді відкритої форми використовувати самоорганізаційні карти (ЗОМ - 5еії- 
огбапігіпє | тар)  Д.Моріфуджи,  Т.Інну, Д.Є. Шкуліна, | В.Н.Грідіна, 
А.А. Вербицкого, А.А. Солодовнікова, що працюють у напрямі використання 
нейронних мереж для вирішення задач морфологічного і синтаксичного аналізу 
тексту 1 задачі аналізу  словозмін, Д.С. Тарасова, Т.В.Батури, М. Сріа55і, 
М. ОізсріткКе, В. Мооп, Р. Агпацдо, що досліджують використання згорткових 1 
рекурсивних (мережа Елмана) мереж, що працюють із символьними поданнями слів 
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або змішаними поданнями, динамічних мереж |5,6,7,12,131. 

З точки зору авторів, це є одним із найбільш цікавих напрямів на сьогоднішній 
день. До недоліків даного підходу можна віднести відсутність кількісної міри 
семантичної відповідності двох текстів. 

Мета дослідження 

Аналіз сучасних механізмів семантичного аналізу природномовних текстів, що 
базуються на нейромережевих технологіях. Дослідження засобів кількісної оцінки 
семантичної відповідності двох текстів для задач автоматичного контролю знань. 

Виклад основного матеріалу 

Використання нейронних мереж - це принципово новий підхід до вирішення 
задач аналізу природномовних текстів, який також ідеально підходить для 
використання в автоматизованих системах контролю знань для перевірки 
правильності відповідей у тестах з відкритими питаннями. 

Будемо розглядати вирішення задачі оцінки правильності відповіді у тестах з 
відкритими питаннями як задачу класифікації. Якщо визначення чи пояснювальний 
текст слухача та еталонні відповіді попадають у єдиний клас, то вважається, що 
відповідь правильна | 1). 

Формально задачу класифікації текстів можна сформулювати таким чином. Є 
множина  документів/текстів і множина можливих класів. Потрібно побудувати 
класифікатор, який зараховує обраний документ до одного з декількох, заздалегідь 
визначених, класів на підставі змісту документа. 

Найбільш поширений сучасний підхід до класифікації грунтується на методах 
машинного навчання. Згідно з цими методами, набір правил або критерій прийняття 
рішення текстового класифікатора обчислюється автоматично на основі навчальних 
даних. Навчальними даними є зразки документів з кожного класу. Рішення завдання 
класифікації складається з чотирьох послідовних етапів: попередньої обробки та 
індексації документів, зменшенні розмірності простору ознак, побудови та навчання 
класифікатора за допомогою методів машинного навчання, оцінки якості класифікації. 

Загальновизнаними характеристиками якості роботи класифікатора є точність, 
повнота і їх комбінація (Е-міра). 

Точність (ргесізіоп) класифікації в межах класу - це частка знайдених 
класифікатором документів, які дійсно належать даному класу, відносно всіх 
документів, які система віднесла до цього класу. 

Повнота  (гесаї) класифікації - це частка знайдених класифікатором 
документів, які дійсно належать даному класу, відносно всіх документів цього класу 
в тестовій вибірці. 

Оцінка якості роботи класифікатора проводиться на тестовій вибірці. Разом з 
тим роботу системи оцінює експерт (див. Табл. 1). 

У таблиці прийняті наступні умовні позначення: 

ТР - істинно позитивне рішення; ТМ - істинно негативне рішення; 

ЕР - хибно позитивне рішення; ЕМ - хибно негативне рішення. 


Таблиця 1. Оцінка якості роботи класифікатора 


Клас Сі Експертна оцінка 
Позитивна Негативна 
Оцінка Позитивна ТР ЕР 
системи Негативна ЕМ ТМ 
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Згідно з визначенням, точність обчислюється таким чином: 
р з ТР/ (ТР- ЕР). 
Повнота обчислюється за формулою 
г - ТР/ (ТР- ЕМ). 


Е- міра - характеристика якості роботи алгоритму, яка об'єднує в собі 
інформацію про точність 1 повноту 
2.1)рг 
во РР рр ; досвае 
В"-рег і 


При 0 « В 2 1 більше значення має точність. 
При В - О точність і повнота рівноправні, і тоді Ер - 2рг/(р- г). 
При1« В «00 більше значення має повнота. 
Часто можна зустріти іншу формулу для обчислення точності (ассигасу). Цю 
величину іноді називають правильністю або акуратністю методу: 
ТРУ ТМ 


ТРОТМОЕРУЕМ. 


Але все це характеристики роботи якості самого класифікатора. Нам же в 
задачах оцінки якості знань слухачів цікава міра наближення відповіді слухача до 
еталонної. Нейронна мережа виконує класифікацію наданої відповіді, але не дає нам 
відповіді на питання: «Наскільки точно була сформульована сама відповідь?». 

Цікавим у цьому плані є апарат конформного прогнозування, запропонований 
у роботах В. Вовка, О. Гаммермана та Г. Шафера. Конформне прогнозування може 
використовуватися з будь-яким методом прогнозування точок для класифікації чи 
регресії, включаючи машини опорних векторів, Боо58іїп2, дерева рішень, нейронні 
мережі та прогнози Байєса. Обчислюється показник невідповідності, який вимірює, 
як виглядає поточний приклад відносно до попередніх прикладів, а конформний 
алгоритм перетворює цю міру невідповідності в область прогнозування |! 1. 

Нехай Х - це вимірюваний простір (простір об'єкта), а Х - кінцевий набір 
(простір мітки). Кожен зразок 7і с (хі, уї) складається з об'єкта хі Є Х і мітки уї Є У. 
Об'єкт спостереження визначається як 7: - Х " У, гі Є 7. Знаходимо вимірювальну 
функцію А, що приводить послідовність спостережень (71, 22, ..., тп) Є 7 до 
послідовності однакової довжини (аї1, .. ап) Є К, яка утворюється позитивними 
дійсними числами і еквіваріантна щодо перестановок: для будь-якого п 1 будь-якої 
перестановки л з (Ї1,..., п) 


(а1,..,ап)- А (21, -зпп)-з (ап (1), --- з (п)) -А (ап (1), ---з ЖЕ (п)) 
Конформний предиктор, обумовлений функцією А, визначається як 
Г"(21,..2іх):- Гу |рУ » є) 


ассигасу - 


де (21, ..., 1Ї) Є 72 - це тренувальна послідовність, яка є частиною простору 
спостереження (71, 22, ..., п), х - тестовий об'єкт, а у Є У - потенційні мітки для х. 

ГЕ - відповідна область прогнозування з заданим рівнем значимості є Є ((), 1). 

Для кожного у Є У відповідне р-значення визначається як 

| і- 1,..,1-1 Іа? 2 ах, Й 
ри є з 

Відповідна послідовність балів невідповідності визначається як 


(«і дай ву; - А(21,..., 21, (х, у)) 


ру - 
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у 
Загалом, чим нижче а , тим більша впевненість у нас. Чим нижче Р, тим менше 
ми можемо довіряти цьому прогнозу. 
Область прогнозу в конформному предикторі вкладена, тобто для будь-яких є1 «є2, 
г201,...2Ї.х) с Б'4(21,....2Ї.х) 
Властивістю валідності конформного предиктора є те, що для будь-якої |, 
ймовірність події 
У1--1 є Г"(21,....2Ї. хі 3 1) 
є принаймні 1 - є, тобто 
Р(уї-1 є Г"(21,...,2Ї,хі- 1))«є 

Враховуючи міру невідповідності, конформний алгоритм створює область 
прогнозу ГЄ для кожної ймовірності помилки є. Область г" є (1- є) прогнозний 
регіон; що містить класифіковане значення, принаймні, з ймовірністю 1- є. 

Процес конформного прогнозування, що може бути підсумований наступним 
протоколом, представлений на рисунку 11 1 |: 


ОМІЇМЕ РЕЕРІСТІОМ РВОТОСОЇ : 
Етто - 0,є Є (0,1); 
Мчій - 0, є Є (0,1); 
Етрі - 0,є Є (0,1); 
Ттаїпіпд зей - Тату), 4-5 (Жє, Ув)) 
ЕОВп-І-1,1-2,...: 
Веаїту оціриів зи Є Х; 
Ргєедісіог оцшриїєз ГО СУ Рогай є Є (0,1) 


ВБеаїйу оціриіїз у, Є У 
їЇ у, 


це! 
тт 10 оїпєтшізє 
Етт5 - Етт5 --єтть 


ії. ЗРІВСІ»і 
тий - 10 іл» 


оївєтшіяє 
Мч, - Ми 5, - тий ї5 


1 ірге|-о 
4 азб --- т 
єтрі о оїйєтшіяє 


Етрі - Етрі, У єтра 
Ттаїтітпд 8єї - ІТтаїтіпод єеї, (ди Уп)) 
Епа КОВ. 


Рис.1. Алгоритм процесу конформного прогнозування 
Таким чином, конформне прогнозування може дати кожному передбаченню 
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оцінку надійності, не знижуючи класифікаційних ставок, що може зробити прогноз 
більш широко застосовним. 

Конформне прогнозування - перспективний апарат, що може бути 
використаний для реалізації деференційованого оцінювання відповідей слухачів у 
системах автоматизованого контролю знань. Але в класичному вигляді він 
незастосовний для задач опрацювання природномовних текстів. Дослідження 
можливостей поширення методу конформного прогнозування саме для задач 
опрацювання природномовних текстів є напрямом майбутніх досліджень. 

Висновки 

Персоналізоване навчання на сьогоднішній день є світовим трендом. 
Забезпечити індивідуалізацію навчання покликані технології адаптивного навчання, 
що потребують подальшого розвитку та інтелектуалізації, в тому числі, механізмів 
автоматизованого | контролю знань слухачів. | Перспективним | напрямом 
удосконалення автоматизованих систем тестування є широке впровадження 
інтелектуальних засобів опрацювання природномовних текстів у тестах з відкритими 
питаннями, що дозволить значно підвищити об'єктивність та якість тестування. 
Авторами проаналізовані існуючі на сьогоднішній день механізми обробки 
природномовних текстів, що базуються на нейромережевих технологіях, досліджена 
можливість застосування конформних предикторів для кількісної оцінки степені 
наближення відповіді слухача до еталонних. 
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КЕ5ОМЕ 

І.М. ротапеїзка, О.У. Кедиз5епко, У.М. Крігоіепко 

Меигаї пебуогК їесппоїоріез о ргосе55іпеє паїига! Іапеиаєе іехіз іп аЧдаріїує 
Ісагпіп? 5у5іеті5 

Тодау'є регзопайлей іаїіпе 15 а 9Їоба (гепд. Адарйуе Іеагпіпє іесппоїоєіез аге 
сарабіе ої ргоміфіпє іпауідцай7ед Іеагпіпє, Бис ШФеу гедиіге Гигфег деуеЇїортепі ап 
іпеПесішайгайоп, іпсімдатпя Фе птесрапізтея ої аціотагеа сопігої ої кпом/едее ої 5(идепія. 

Ргошегацйоп ої іпіеШояепі їо0і5 їог пацшига Іапецаєе іехі5 ргосез85іпє іп (е5і5 мір 
ореп диезпопя 15 а ргопі5іпє дігесйоп ої іпаргоуетепі ої ацотаїеа (езійпе, 5у5(епі5 Шаї 
аПоху тисб іпсгеа5е (е5ійпе, дцайіу. Тре десізіоп ої Фе (а5К ої еуаїшайпя, Ше согтесіпез5 
ої Фе ап5мег іп ореп-епдед дцезцопя 15 соп5ідегед а5 а (а5к ої сіавззійсайоп. П Ше 
дейпійоп ог ехріапакогу (ехі ої Фе 5кидепі апа райегп ап5мегя Беіопе їо а 5іпеіе сІа55, 
реп її 15 БеПеуед Шаї Фе ап5мег 15 согтесі. Тре ууогКк апаЇугез ехі5йцпе плеспапізтя Їог 
Фе паїшга! Іапецаєе ехіз ргосез5іпе Базед оп пейта! пеїмуогК іесплоїоб1е5. 

Бог Фе ФіНегеппацоп ої 5їидепія" аз5еєзтепіз, Ше регзреспує дігесоп 15 сгеайпо а 
диапіайує теазиге (0 а55е55 Ше соггесіпеє5 ої Ше ап5м/ег рге5епісд іп фе пагшга! 
Іапецаєе Іехі їогт. 

ТРре агіїсіе 15 геіеуапі, 5іпсе Ше 5ргеай ої е-Іеагпіпє (есплоїогіе8 15 опе ої Ше 
ргегедцізїе5 Їог Фе ітріетепіайоп ої Фе ргіпсіріе ої "еагпіпє ШФгоцєб Пе" апа гедиіге5 
Фе гесрпоїобіез іпіеПесішайгайоп Їог сопігоШтя Ше Кпом/едге ої 5їидепі5з. 


Надійшла до редакції 25.10.2017 
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